SyncUp: Vision-based Practice Support for Synchronized Dancing

The beauty of synchronized dancing lies in the synchronization of body movements among multiple dancers. While dancers utilize camera recordings for their practice, standard video interfaces do not efficiently support their activities of identifying segments where they are not well synchronized. This thus fails to close a tight loop of an iterative practice process (i.e., capturing a practice, reviewing the video, and practicing again). We present SyncUp, a system that provides multiple interactive visualizations to support the practice of synchronized dancing and liberate users from manual inspection of recorded practice videos. By analyzing videos uploaded by users, SyncUp quantifies two aspects of synchronization in dancing: pose similarity among multiple dancers and temporal alignment of their movements. The system then highlights which body parts and which portions of the dance routine require further practice to achieve better synchronization. The results of our system evaluations show that our pose similarity estimation and temporal alignment predictions were correlated well with human ratings. Participants in our qualitative user evaluation expressed the benefits and its potential use of SyncUp, confirming that it would enable quick iterative practice.

シンクロナイズドダンスの美しさは，複数のダンサーが体の動きを同期させることにあります．ダンサーはカメラで撮影した映像を練習に利用しますが、標準的な映像インターフェースでは、同期が取れていない部分を特定するというダンサーの活動を効率的にサポートできません。これでは、練習を撮影し、ビデオを見直し、また練習するという反復練習のプロセスの緊密なループを閉じることができません。SyncUpは、シンクロナイズドダンスの練習をサポートするために、複数のインタラクティブなビジュアライゼーションを提供し、ユーザーが録画された練習ビデオを手作業で確認することから解放するシステムです。SyncUpは、ユーザーがアップロードしたビデオを分析することで、ダンスにおけるシンクロナイズの2つの側面、すなわち、複数のダンサー間のポーズの類似性と、ダンサーの動きの時間的な整合性を定量化します。そして、より良い同期を実現するためには、どの体の部位やダンスのどの部分をさらに練習する必要があるかをハイライトします。システムの評価結果によると、ポーズの類似性の推定と時間的な整合性の予測は、人間の評価とよく相関していました。定性的なユーザー評価の参加者は、SyncUpの利点とその使用可能性を表現し、迅速な反復練習が可能になることを確認しました。とコメントしています。

Comments: In Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT/UbiComp '21), Vol. 5, No. 3, Article 143

Subjects: Human-Computer Interaction (cs.HC)